When the Label Ignores the Request: Auditing Policy-Selected Targets in Synthetic Conversational Music Recommendation
当标签忽略请求：审计合成对话音乐推荐中的策略选择目标
🧭 对话推荐 · 标签审计与训练补充 ★ 深度解读
Independent Researcher
审计合成对话音乐推荐基准，发现显式点歌请求半数被官方标签违背，低权重训练补充修复且不损官方指标
📌 工作参考价值（4 点）
- 在对话式推荐/智能客服中，对用户明确指定商品或歌曲的 turn，不要直接用生成式 policy 的后续 item 当训练 label，否则模型会学会忽略显式意图。可复用做法：用正则+商品目录解析构建确定性 detector，识别精确 item/版本请求，并将其解析目标作为补充正样本，同时保留官方 label 但降低该 turn 权重（如 0.1）。
- 评估 benchmark 或线上流量时，除全局 nDCG/转化外，应建立“请求满足切片”，专门监控用户点名 item 的满足情况。本文展示这类切片虽然占比小（1%），但行为变化巨大，全局指标完全无法反映，容易被忽略。
- 在标签增广/去噪实验中，必须设 matched control（相同特征包括请求信号，但不使用增广 label）和 predeclared preservation margin，验证提升不是来自特征暴露，且不伤主指标。工程上可在推理时只在 detector 命中的 turn 上替换 reranker 分数，其他 turn 保持 base 模型，降低风险。
- 如果业务上有精确商品 query，优先规则覆盖（resolve 到具体 item 提升到 rank1）通常安全，但要注意 false fire 会直接成为 top1 错误；本文选择训练 reranker 而非硬覆盖，可在检测精度不够时借鉴。